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(57) Abstract: The invention concerns a medical device comprising a display system for real time and dynamic registration and 
matching of a surgical site with a model of the same site or elements thereof. 

(57) Abrege* : La pre'sente invention se rapporte a un dispositif medical comprenant un systeme d'affichage permettant de superposer 
et mettre en correspondance en temps reel et de maniere dynamique V image reelle d'un champ operatoire avec un modele de ce memc 
champ ou d'eleraents qu'il comporte. 
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Dispositif medical de positionnement d'informations sur des images 

intraoperatoires 

5 La presente invention se rapporte a un dispositif medical comprenant un 
systeme d'affichage permettant de superposer et mettre en correspondance en 
temps reel et de maniere dynamique 1'image reelle d'un champ operatoire avec 
un modele de ce meme champ ou des informations statiques ou dynamiques 
qui lui sont propres. 

10 

De nos jours, il existe une pluralite d'outils preoperatoires tels que I'IRM, le 
CT-Scan, I'echographie, les ultrasons, les rayons X dont on peut tirer les 
reconstructions en 3 dimensions (3D). 

15 Les informations obtenues par ces outils sont ensuite utilisees par le chirurgien 
lors de I'operation. 

^utilisation de ['information fournie par les outiis preoperatoires souffre helas 
d'un defaut majeur. En effet, avant I'operation, le chirurgien doit memoriser 
20 ('information fournie par les outils preoperatoires, ce qui ne peut etre fait que 
partieliement et, dans bien des cas, que de facon subjective. 

Depuis un certain temps, le besoin s'est fait ressentir de mettre a la disposition 
du chirurgien, durant I'acte et a la demande. ['information en provenance des 
25 outils preoperatoires. 

Plusieurs documents brevets decrivent des dispositifs permettant de 
superposer en temps reel I'image du champ operatoire avec un modele de ce 
meme champ. On peut citer a titre d'exemple les documents US 5 765 561, US 
30 4 989 083 et WO 96/1 0949. 

Le document WO 97/03601 decrit egalement un tel dispositif. Dans un mode de 
realisation, il comprend des rnoyens de suivi qui sont places sur des organes, 
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ce qui permet d'assurer une superposition dynamique de I'image reelle et du 
modele meme lorsque les organes ou la camera se deplacent. 

Afin de realiser la superposition, on determine les positions de I'image reelle et 
5 du modele en fonction d'un referentiel lie au systeme de suivi de la camera. 

Une telle configuration presente cependant un certain nombre d'inconvenients. 
Etant donne que la position de la camera, du champ operatoire (les organes) et 
du modele preoperatoire doivent toujours etre suivies en continu, il importe de 
10 recourir a un systeme relativement complexe et onereux. Le suivi du 
deplacement des organes, en particulier, necessite la mise en place de tout un 
systeme de cablage et de marqueurs/emetteurs. 

La presente invention presente notamment le grand avantage de remedier aux 
15 problemes precites. 

Elle se rapporte a un dispositif medical comprenant un systeme d'affichage 
permettant de superposer en temps reel et de maniere dynamique I'image 
reelle d'un champ operatoire avec un modele de ce meme champ, les positions 
20 de I'image reelle et du modele etant determinees par rapport a un meme 
referentiel qui est fixe par rapport au champ operatoire et qui est visible sur 
I'image reelle. 

Avec une telle configuration, le suivi de la camera et sa position par rapport au 
25 modele n ont plus besoin d'etre pratiques, d'ou une simplification du dispositif. 

En fait, dans la presente invention, toute mesure de la position des organes et 
la superposition de leur image reelle avec !e modele correspondant peuvent 
etre effectuees dans le seul contexte du champ operatoire tel que visualise sur 
30 I'image reelle. 

Le dispositif medical de la presente invention peut etre utilise avec une ou 
plusieurs cameras. Si seulement une camera est utilisee, on utilise un 
referentiel fixe qui comprend au moins 3 points visibles sur I'image reelle. 
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Le referentiel fixe peut avoir n'importe quelle forme, pour autant qu'il presente 
un nombre suffisants de points sur I'image reelle et qu'il soit fixe par rapport au 
champ operatoire (les organes). II peut etre naturel (marques anatomiques) ou 
5 artificiel. Dans cette derniere categorie, il peut etre place mecaniquement 
(incisions), chimiquement (encre biocompatible) ou avec ['utilisation de 
marqueurs externes (objet artificiel place / positionne dans le champ 
operatoire). 

10 Selon un mode preferentiel de invention, le referentiel est constitue d'au moins 
3 branches, ('ensemble etant adapte pour etre simplement pose sur les organes 
a operer ou sur des organes avoisinants qui sont fixes par rapport aux organes 
a operer. 

15 Selon un autre mode preferentiel de I'invention, fe dispositif comporte en outre 
une serie de points de reference sur un organe deformable, ces points etant 
utilises pour deformer et adapter tout ou partie du modele relativement aux 
deformations reelles. 

20 La superposition de I'image reelle avec le modele se realise en effectuant les 
etapes suivantes : 

Dans une premiere phase, I'image du champ operatoire est acquise et 
memorisee a I'aide d'outils appropries tels que scanner, IRM ou dispositif 

25 d'echographie. A partir de cette information, un modele 3D du champ operatoire 
est reconstitue generalement en utilisant des techniques de segmentation, 
differents reperes sont choisis sur le modele (il peut s'agir, par exemple, de 
reperes anatomiques pertinents) et accessoirement des informations sont 
rajoutees sur le modele. A titre d'exemple d'informations ajoutees, on peut citer 

30 des objets geometriques qui correspondent a des objets reels qui ne sont pas 
visualises sur I'image reelle telle qu'observee lors de l operation comme des 
points de reperes utiles pour localiser des pathologies ou des informations de 
navigation pour le chirurgiens (lieu anatomique ou un organe doit-etre reseque 
par exemple). 
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Lors de la phase operatoire proprement dite, on enregistre la position des 
reperes de ('image reelle et du modele par rapport au referentiel fixe de la 
maniere suivante : 

5 

- Lorsque au moins 3 points connus du referentiels sont visibtes dans 
I'image, il est possible grace a des techniques de suivi de marques, de 
connaitre leur position 3D relativement a I'imageur. Cette technique est 
connue dans la litterature sous le nom de « the Perspective-Three-Point 

10 Problem » Dementon. 

- Parmi les techniques de pointage des reperes, une possibility est 
d'utiliser un outil marque (3 points) et reperable dans I'image. Comme 
precedemment, la position de son extremite, c'est a dire des points 
anatomiques recherches, est connue dans le referentiel de I'imageur. 

15 - On en deduit ensuite la position 3D des reperes relativement au 
referentiel fixe. 

Connaissant la position 3D des reperes anatomiques relativement au referentiel 
fixe, il devient ainsi possible de superposer constamment le modele, a I'aide 
20 d'un moteur de rendu 3D, avec I'image reelle correspondante pour autant 
qu'une partie de referentiel soit visible. 

Plusieurs applications de la presente invention peuvent etre envisagees. La 
liste ci-apres en offre quelques exemples : 

25 

- Positionner en temps reel un organe reconstruit (virtuel) dans un 
champ operatoire reel pour avoir acces a des informations non 
visibles. 

- Detecter en 3 dimensions I'extremite et/ou Torientation de l outil 
30 d'un chirurgien par rapport au referentiel du systeme ou le 

referentiel du systeme fixe. Ceci peut etre realise a I'aide de 3 
marques placees sur Toutil ou de 2 marques dans le cas d'un 
systeme stereoscopique. La meme technique pourrait etre utilisee 
pour piloterun robot. 
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- Utiiiser un imageur intra-operatoire supplemental tei qu'une 
sonde ultrason et de detecter sa position et son orientation par 
une technique de marquage de I'imageur (voir point precedent). 
Dans ce cas, on peut egalement concevoir de superposer les 
images provenant de I'imageur avec le modele et I'image reelle. 
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- Utiiiser une sonde ultrason a effet Doppler pour calculer les flux 
sanguins dans un systeme vasculaire. En mettant en relation les 
images de la sonde ultrason avec le modele, il devient possible de 
modeliser le flux sanguin dans un modele 3D avant de faire 
superposer eventuellement celui-ci avec I'image reelle. 



Des exemples de realisation de I'invention seront decrits par la suite au moyen 
des figures suivantes : 

15 La figure 1 presente une vue d'ensemble d un dispositif selon ('invention 

La figure 2 illustre un referentiel fixe pouvant etre utilise dans le cadre de la 
presente invention 

La figure 3 illustre un exemple de superposition d'un modele sur une image 
endoscopique 

20 La figure 4 illustre un exemple de superposition d'une image ultrason sur une 
image endoscopique 

Le dispositif schematise a la figure 1 comprend un systeme optique (4) destine 
a visualiser un champ operatoire (2). Par champ operatoire, on entend la region 
25 du patient (1) qui fait I'objet d'une operation et qui doit etre visuaiisee. 

Les images capturees par le systeme optique (4) sont envoyees dans un 
module de traitement digital (6). Le dispositif comprend egalement une base de 
donnees (5) qui contient des modeles du champ operatoire (2) qui ont etes 
30 reconstitues prealablement a partir d'imageurs, comme par exemple un CT- 
Scan ou un IRM. Les images des modeles sont ensuite superposees avec les 
images reelles du champ operatoire (2) au moyen d'un dispositif d'affichage (8) 
qui se presente sous forme d'un ecran ou tout autre dispositif (systeme de 
vision haute, microscope (binoculaire) avec ecran integre, etc.). 
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Le chirurgien (7) peut interagif sur le module de traitement du signal (6) par le 
biais d'un peripherique d'interaction (12) pour par exemple inclure des 
informations sur les modeles qui seront affiches a I'ecran (8). 

5 

Afin de realiser la superposition du modele et de son image reelle 
correspondante, on place un referentiel fixe (3) qui doit etre visible dans le 
champ du systeme optique (4). 

10 Comme on I'a vu precedemment, par referentiel fixe (3), on entend tout 
systeme fixe par rapport au champ operatoire et plus precisement par rapport 
aux organes qui font I'objetde I'operation. 

Un referentiel fixe (3) qui peut etre utilise dans le cadre de la presente invention 
15 est illustre a la figure 2. 

II se compose essentiellement d'une tige (13) munie vers Tune de ses 
extremites (14) de trois branches (9) placees perpendiculairement par rapport a 
la tige (13) et eloignees les unes des autres d'un angle d'environ 120°. 

20 

Dans ce cas, les extremites (9) des branches et Textremite avoisinante de la 
tige (14) font office de point de reperes. 

Une partie ou I'ensemble du referentiel fixe (3) est pose sur I'organe a operer 
25 ou sur une surface proche qui est fixe par rapport a celui-ci. 

La superposition d'un modele avec son image reelle correspondante s'effectue 
comme decrit plus haut dans le texte. 

30 La figure 3 illustre un exemple de superposition d'un modele sur une image 
endoscopique. Le modele aide le chirurgien ou tout autre systeme d'interaction 
(robot, sonde "therapique" etc.) pour notamment localiser les regions qui 
doivent etre traitees. 
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La figure 4 illustre un exemple de superposition d'une image ultrason (11) 
obtenue par une sonde ultrason (10). L'image ultrason (11) etant visible pour 
autant que le referentiel fixe (3) et I'imageur le soient egalement. 

5 Bien entendu, invention ne se limite pas aux exemples decrits precedemment. 

Elie s'applique a tout systeme superposition utilisant un referentiel fixe par 
rapport au champ operatoire et qui est visible sur l'image capturee par le 
systeme optique. 

10 
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Revendications 

Dispositif medical comprenant un systeme d'affichage permettant de 
superposer en temps reel et de maniere dynamique I'image reelle 
d'un champ operatoire avec un modele relatif a ce champ, les 
positions de I'image reelle et du modele etant determinates par 
rapport a un meme referentiel, caracterise par le fait que le 
referentiel est fixe par rapport au champ operatoire et que tout ou 
partie est visible sur I'image reelle. 

Dispositif selon la revendication 1, caracterise par le fait qu'il est 
constitue d'une camera et qu'au moins 3 points du referentiel fixe 
sont visibles sur I'image reelle. 

Dispositif selon la revendication 1, caracterise par le fait qu'il est 
constitue d'un systeme de cameras stereoscopique et qu'au moins 3 
points du referentiel fixe sont visibles sur I'image reelle. 

Dispositif selon I'une quelconque des revendications precedentes, 
caracterise par le fait que le referentiel fixe est compose d'un ou 
plusieurs reperes anatomiques. 

Dispositif selon I'une quelconque des revendications precedentes, 
caracterise par le fait que le referentiel fixe comprend au moins 3 
branches et est adapte pour etre pose sur le champ operatoire. 

Utilisation du dispositif de I'une quelconque des revendications 
precedentes, caracterisee par le fait qu'elle comprend les etapes 
suivantes : 

a) Le champ operatoire est memorise et memorise en 2 ou plus 
dimensions. 

b) line serie de points de reperes sont ensuite choisis sur le modele 
du champ operatoire. Optionnellement, lors de cette etape, des 
informations sont rajoutees ou supprimees sur le modele. 
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c) La serie de points de reperes de I'image reelle et la serie des 
points de reperes correspondant du modele sont enregistrees par 
rapport au referentiel fixe. 

d) A I'aide d'un moteur de rendu 3D et d'algorithmes de 
5 positionnement ad hoc, le modele est ainsi constamment 

superpose dynamiquement a I'image reelle correspondante et 
positionne correctement a I'interieur de celle-ci meme lorsque la 
camera se deplace. 

7. Utilisation du dispositif de Tune quelconque des revendications 
10 precedentes, caracterisee par le fait quelle comprend les etapes 

suivantes : 

a) Le champ operatoire est memorise et modelise en 3 dimensions. 

b) La serie de points de reperes de I'image reelle et la serie des 
points de reperes correspondant du modele sont enregistrees par 

15 rapport au referentiel fixe. 

c) Une serie de points de reperes sont ensuite choisis sur le modele 
du champ operatoire. Optionnellement, lors de cette etape, des 
informations sont rajoutees ou filtrees sur le modele. 

d) A Taide dun moteur de rendu 3D et d'algorithmes de 
20 positionnement ad hoc, le modele est ainsi constamment 

superpose a I'image reelle correspondante et positionne 
correctement a I'interieur de celle-ci. 

8. Dispositif selon la revendication 1, caracterise par le fait qu'il 
comporte une serie de points de reference destines a etre places ou 

25 figures sur un organe deformable. 

9. Dispositif selon I'une quelconque des revendications precedentes, 
caracterise par le fait qu'il est utilise en association avec un outil 
chirurgical muni de plusieurs marques afin de detecter sa position en 
3 dimensions par rapport au referentiel fixe ou au referentiel du 

30 systeme d'affichage. 
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